Trước năm 1966, xã Yên Sơn thuộc huyện Hà Quảng.

Ngày 7 tháng 4 năm 1966, Hội đồng Chính phủ ban hành Quyết định 67-CP[4] về việc chuyển xã Yên Sơn sang trực thuộc huyện Thông Nông mới thành lập.

Đến năm 2019, xã Yên Sơn được chia thành 9 xóm: Bó Rẹc, Cốc Lùng, Cốc Trà, Chọc Mòn, Nậm Cốp, Khao Thượng, Vài Thai, Khao Hạ, Ngàm Vảng.

Ngày 9 tháng 9 năm 2019, Hội đồng Nhân dân tỉnh Cao Bằng ban hành Nghị quyết số 27/NQ-HĐND[3] về việc:

• Sáp nhập hai xóm Khao Hạ và Khao Thượng thành xóm Phia Khao
• Sáp nhập ba xóm Nặm Cốp, Chọc Mòn, Bó Rẹc thành xóm Bình Minh.

Ngày 1 tháng 2 năm 2020, sáp nhập toàn bộ diện tích và dân số của huyện Thông Nông trở lại huyện Hà Quảng[5]. Xã Yên Sơn thuộc huyện Hà Quảng như hiện nay.